# 第一种： 启动Scrapy_redis
# scrapy_redis分布式爬虫，在settings.py添加对应的配置，即可实现增量式爬虫
# 由于redis增量式的局限性以及适用性太差，除非特定的分布式爬虫，普通的scrapy爬虫不推荐。
#
# 第二种： 使用scrapy-deltafetch插件实现增量式爬虫
# scrapy-deltafetch简介
# scrapy-deltafetch 通过Berkeley DB来记录爬虫每次爬取收集的request和item，当重复执行爬虫时只爬取新的item，实现增量去重，提高爬虫爬取性能。
#
# Berkeley DB简介
# Berkeley DB是一个嵌入式数据库，为应用程序提供可伸缩的，高性能的、有事务保护功能的数据管理服务。
#
# 主要特点：
# 嵌入式
# 可伸缩：Database library本身是很精简的（少于300KB的文本空间），但它能够管理规模高达256TB的数据库。它支持高并发度，成千上万个用户可同时操纵同一个数据库
#

# 需要安装包
# 安装bsddb3
pip install bsddb3
# 安装scrapy-deltafetch
pip install scrapy-deltafetch
#安装scrapy-magicfields
pip install magicfields

# settings中设置
SPIDER_MIDDLEWARES = {'scrapy_deltafetch.DeltaFetch': 100}

DELTAFETCH_ENABLED = True

# 此时爬虫框架已经变成了增量式的爬虫，运行代码进行测试。

